Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
失败乃成功之母：用有依据的事后反思重放恢复 GRPO 监督
🧭 强化学习训练 · 失败恢复监督 ★ 深度解读
University of California, San Diego · Adobe Research · University of Virginia · University of Toronto · University of New South Wales
提出 RSHD：从失败 rollout 写纠正笔记，经重放效果筛选和防泄漏后蒸馏回 plain-prompt，在 GRPO 全失败组上恢复监督信号
📌 工作参考价值（4 点）
- 如果你在业务中用 GRPO/RLVR 微调 Agent 或 LLM（如对话式购物 Agent、query 改写、推荐文案生成），当一组 rollout 全部失败时 GRPO advantage 为零，这些 hardest cases 完全被浪费。可借鉴 RSHD：对失败轨迹写不超过 80 词 corrective note，但不看参考答案；用原组 no-note 成功率作为 baseline，只保留 replay 成功率高于 baseline 的 note；再把带 note 的成功续写蒸馏回 plain-prompt，推理时零额外开销。
- 工程实现上，note 搜索可直接在 TRL GRPOTrainer 上加两个 hook，复用现有 vLLM server；训练 token 约翻倍但只在训练期。对业务中失败率高的长尾难题尤其有效：论文按 base 模型 0/8 成功率分层，RSHD 较 GRPO 的收益几乎全部落在“从不成功”的样本上，简单样本基本不退化。
- 安全与防泄漏不可省：论文观察到约 9% 的 note 直接写出参考答案，约 60% 未通过 replay 测试。复用时要保留“字符串匹配检测答案 + replay 效果筛选”，而不是直接信任 note 文本做蒸馏，否则会引入泄漏或强化错误诊断。
- 训练细节可复用：蒸馏权重用带 note 与不带 note 的 log-prob 正 lift 并 clip 到 [0,2]，只更新 plain-prompt student，teacher stop-gradient；当没有 note 被保留时该步完全退化为 GRPO，避免噪音。这个机制对业务中 RL 微调 Agent 的稀疏奖励场景很实用。